정보과학회 컴퓨팅의 실제 논문지 (KIISE Transactions on Computing Practices)
Current Result Document :
| 한글제목(Korean Title) |
베이지안 신경망을 이용한 순차적 다중작업 학습 최적화 |
| 영문제목(English Title) |
Sequential Multitask Learning Optimization Using Bayesian Neural Network |
| 저자(Author) |
손성호
김지섭
장병탁
Seongho Son
Jiseob Kim
Byoung-Tak Zhang
|
| 원문수록처(Citation) |
VOL 24 NO. 05 PP. 0251 ~ 0255 (2018. 05) |
한글내용
(Korean Abstract) |
인공지능의 활용성을 높이기 위해서는 다양한 종류의 작업을 순차적으로 학습할 수 있는 능력을 개발하는 것이 필수적이다. 그러나 기존의 신경망은 순차적 다중작업 학습 환경에서 이전에 학습했던 작업의 성능이 급격하게 떨어지는 단점을 가지고 있다. 베이지안 신경망은 각 연결 가중치를 확률분포에 대응시켜 체계적인 온라인 학습이 가능한 한편 모델의 데이터에 대한 불확실성을 계량할 수 있다. 본 연구에서는 베이지안 신경망을 이용하여 순차적 다중작업 학습 환경에서 새로운 작업에 대한 학습을 원활하게 수행함과 동시에 이전에 학습했던 작업에 대한 성능을 잘 유지하는 모델을 제시한다. 제시된 모델은 베이지안 역전파 기법을 이용해 계산한 가중치 분포 평균의 경사도에 사전분포의 표준편차를 곱한 것을 학습용 경사도로 이용한다.
|
영문내용
(English Abstract) |
It is essential to develop the ability to sequentially learn various tasks, in order to increase the availability of artificial intelligence applications. However, typical neural network models show a drastic decline of the previously learnt task’s performance in a sequential multitask learning environment. Bayesian neural networks can measure the uncertainty of a model on the given data, while enabling systematic online learning by matching each weight to a probability distribution. This research proposes a model using a Bayesian neural network, which maintains its performance on previously learnt tasks while continuously learning new tasks in a sequential multitask learning setting. The proposed model uses Bayesian backpropagation, where the gradient of each weight distribution’s mean is multiplied by the standard deviation of the corresponding prior distribution.
|
| 키워드(Keyword) |
딥러닝
가중치 불확실성
베이지안 신경망
순차적 다중작업 학습
deep learning
weight uncertainty
Bayesian neural network
sequential multitask learning
|
| 파일첨부 |
PDF 다운로드
|
